RAPID: Robot Agentic Programming from Demonstrations
RAPID:从视觉演示自动生成机器人程序
🧭 机器人 Agentic 编程与代码生成
Massachusetts Institute of Technology · National University of Singapore · University of Pennsylvania · NVIDIA
利用编码 Agent 从单个视觉演示自动推断任务规范、动作原语与环境,迭代生成可泛化的机器人程序
📌 工作参考价值(4 点)
- Agentic loop 的要素拆解可复用:将代码生成闭环拆成「可测试任务规范 + 动作原语 + 交互执行环境」,从单个演示自动推断。在推荐/搜索场景可类比:用 LLM 从用户操作日志或行为样例中提炼可测试的策略约束(如点击率目标、多样性要求),再迭代生成和验证 query 或推荐策略。
- 对象中心关系表示提升泛化:用关系约束而非绝对坐标/ID 描述对象交互,使程序跨姿态、形状、材质泛化。可借鉴到生成式推荐或广告中:少用固定 item ID,改为对象属性、共现/替代/互补等关系特征,帮助冷启动与跨场景复用。
- 高层意图与低层执行解耦:动作原语定义为轨迹优化程序,只规定对象级运动效果,下层求解器处理具体路径。对应业务中把策略意图(如“提升 GMV”“增大曝光多样性”)编译为可执行算子,由底层排序/出价引擎实现,避免每次重新生成全量逻辑。
- 主要是具身智能与机器人编程贡献,但验证-修正闭环和从演示自动推断规范的思路可借鉴到 Agent 工作流设计。